Ovis2 est la dernière version de la série de modèles Ovis, développée par l'équipe internationale d'Alibaba. Par rapport à la version précédente 1.6, Ovis2 présente des améliorations significatives dans la construction des données et les méthodes d'entraînement. Il renforce non seulement la densité des capacités des modèles à petite échelle, mais améliore également considérablement les capacités de raisonnement par chaîne de pensée (CoT) grâce à l'ajustement des instructions et à l'apprentissage des préférences. De plus, Ovis2 intègre des capacités de traitement vidéo et multi-images, et améliore les capacités multilingues et la reconnaissance optique de caractères (OCR) dans des scénarios complexes, améliorant ainsi considérablement l'utilité du modèle.

Alibaba Damo Academy a récemment lancé Valley2, un grand modèle linguistique multimodal conçu pour le commerce électronique. Ce modèle vise à améliorer les performances dans divers domaines et à étendre les applications aux scénarios de commerce électronique et de vidéos courtes grâce à une architecture visuelle-linguistique évolutive. Valley2 utilise Qwen2.5 comme backbone LLM, associé à un encodeur visuel SigLIP-384, combiné à une couche MLP et à une convolution pour une conversion efficace des caractéristiques.

La société Jieyue Xingchen Intelligent Technology Co., Ltd. de Shanghai et la marque de boissons au thé bien connue Chabaidao ont annoncé un partenariat approfondi le 14 janvier 2025. Ce partenariat vise à exploiter la technologie de modèles linguistiques de Jieyue Xingchen pour explorer de nouveaux modèles d’inspection intelligente et de marketing AIGC, afin de créer un nouveau mode de production et d’exploitation des magasins numériques, offrant aux consommateurs une expérience de consommation de thé au lait plus sûre, intelligente et divertissante.

Amazon développerait un grand modèle linguistique multimodal appelé « Olympus », qui devrait être officiellement lancé dès la semaine prochaine lors de la conférence AWS re:Invent. Selon theinformation, le nom de code interne de cet algorithme est « Olympus ». En novembre dernier, Reuters rapportait qu'Amazon avait investi des millions de dollars dans l'entraînement d'un grand modèle linguistique appelé « Olympus », avec un nombre de paramètres atteignant 2 000 milliards. Quant à cette fois...

Récemment, l'équipe de recherche sur l'IA d'Apple a présenté sa nouvelle génération de modèles linguistiques multimodaux (MLLM) : MM1.5. Cette série de modèles, capable de combiner plusieurs types de données, tels que le texte et les images, nous montre les nouvelles capacités de l'IA en matière de compréhension de tâches complexes. Des tâches telles que la question-réponse visuelle, la génération d'images et l'interprétation de données multimodales peuvent être mieux traitées grâce à ces modèles. Un des grands défis des modèles multimodaux est de parvenir à une interaction efficace entre les différents types de données. Les modèles précédents avaient souvent des difficultés à…

Dans le contexte de l'évolution rapide de l'intelligence artificielle, un grand modèle linguistique multimodal nommé ORYX est en train de révolutionner notre perception de la capacité de l'IA à comprendre le monde visuel. Développé conjointement par des chercheurs de l'Université Tsinghua, de Tencent et de l'Université technologique de Nanyang, ce système d'IA est considéré comme un véritable "transformateur" dans le domaine du traitement visuel. ORYX, acronyme d'Oryx Multi-Modal Large Language Models, est un modèle d'IA spécialement conçu pour traiter les images, les vidéos et la compréhension spatio-temporelle des scènes 3D.

Le modèle linguistique multimodal Yi-VL de Lingyi Wanwu est disponible, en deux versions : Yi-VL-34B et Yi-VL-6B. Le modèle Yi-VL possède des capacités exceptionnelles en matière de compréhension d'images et de texte ainsi que de génération de dialogues. Le modèle Yi-VL a obtenu des résultats de pointe sur des ensembles de données anglais et chinois. Yi-VL-34B surpasse les autres grands modèles multimodaux avec une précision de 41,6 %. Le modèle Yi-VL est basé sur l'architecture LLaVA et possède de puissantes capacités de compréhension et de génération du langage.

NExT-GPT est un modèle linguistique multimodal open source développé par l'Université nationale de Singapour. Il prend en charge le traitement du texte, des images, des vidéos et de l'audio, offrant ainsi un support puissant aux applications d'intelligence artificielle multimédia. Il adopte une architecture à trois niveaux, comprenant une projection linéaire, un cœur Vicuna LLM et des couches de conversion spécifiques aux modalités, entraînées via la technologie MosIT. Cette contribution open source permet aux chercheurs et aux développeurs de créer des applications intégrant des entrées multimodales, ouvrant ainsi la voie à de nombreux domaines d'application potentiels. La particularité de NExT-GPT réside dans sa capacité à s'adapter aux

Des chercheurs d'Apple et de l'Université Columbia ont collaboré pour développer Ferret, un modèle linguistique multimodal visant à atteindre une compréhension et une description d'images avancées. Le modèle Ferret possède une capacité de compréhension globale puissante, capable de traiter du texte libre et des zones de référence, surpassant les modèles traditionnels. Les chercheurs ont créé l'ensemble de données GRIT, comprenant 1,1 million d'échantillons, pour guider le modèle dans les tâches de référence et de localisation. L'évaluation Ferret-Bench montre que Ferret surpasse en moyenne les meilleurs modèles MLLM de 20,4 %.

Kunlun Wanwei a déclaré que son modèle linguistique « TianGong » était itéré toutes les semaines depuis son lancement, et que son cluster d'entraînement fonctionnait à pleine capacité. L'assistant IA TianGong pour mobile est officiellement lancé et en phase de test interne. Les utilisateurs d'Apple et d'Android peuvent le télécharger et le tester. Le modèle linguistique de la société prend en charge les conversations textuelles de plus de 10 000 mots, et les utilisateurs peuvent effectuer plus de 20 interactions.